我们呈现恐惧，新颖，快速，高效，准确，强大的暹罗视觉跟踪器。我们介绍了对象模型适配的架构块，称为双模板表示，以及像素 - 明智的融合块，以实现模型的额外灵活性和效率。双模板模块仅包含单个学习参数的时间信息，而像素-Wise融合块与标准相关模块相比，像素-Wise融合块对具有较少参数的判别特征进行了更多的辨别特征。通过用新型模块插入复杂的骨干，恐惧-M和恐惧-L跟踪器在既准确性和效率的几个学术基准上超过大多数暹粒例子。使用轻质骨干，优化的版本恐惧-XS提供了超过10倍的跟踪跟踪，而不是当前暹罗跟踪器，同时保持最先进的结果。 GEAF-XS跟踪器比LightTrack [62]更小2.4倍，比LightTrack [62]更高。此外，我们通过在能量消耗和执行速度上引入基准来扩展模型效率的定义。源代码，预先训练的模型和评估协议将根据要求提供

We propose the fully differentiable $\nabla$-RANSAC.It predicts the inlier probabilities of the input data points, exploits the predictions in a guided sampler, and estimates the model parameters (e.g., fundamental matrix) and its quality while propagating the gradients through the entire procedure. The random sampler in $\nabla$-RANSAC is based on a clever re-parametrization strategy, i.e.\ the Gumbel Softmax sampler, that allows propagating the gradients directly into the subsequent differentiable minimal solver. The model quality function marginalizes over the scores from all models estimated within $\nabla$-RANSAC to guide the network learning accurate and useful probabilities.$\nabla$-RANSAC is the first to unlock the end-to-end training of geometric estimation pipelines, containing feature detection, matching and RANSAC-like randomized robust estimation. As a proof of its potential, we train $\nabla$-RANSAC together with LoFTR, i.e. a recent detector-free feature matcher, to find reliable correspondences in an end-to-end manner. We test $\nabla$-RANSAC on a number of real-world datasets on fundamental and essential matrix estimation. It is superior to the state-of-the-art in terms of accuracy while being among the fastest methods. The code and trained models will be made public.

我们提出了HRF-NET，这是一种基于整体辐射场的新型视图合成方法，该方法使用一组稀疏输入来呈现新视图。最近的概括视图合成方法还利用了光辉场，但渲染速度不是实时的。现有的方法可以有效地训练和呈现新颖的观点，但它们无法概括地看不到场景。我们的方法解决了用于概括视图合成的实时渲染问题，并由两个主要阶段组成：整体辐射场预测指标和基于卷积的神经渲染器。该架构不仅基于隐式神经场的一致场景几何形状，而且还可以使用单个GPU有效地呈现新视图。我们首先在DTU数据集的多个3D场景上训练HRF-NET，并且网络只能仅使用光度损耗就看不见的真实和合成数据产生合理的新视图。此外，我们的方法可以利用单个场景的密集参考图像集来产生准确的新颖视图，而无需依赖其他明确表示，并且仍然保持了预训练模型的高速渲染。实验结果表明，HRF-NET优于各种合成和真实数据集的最先进的神经渲染方法。

我们考虑了与视图合成的重大视点变化下的两视图匹配的问题。我们提出了两种新颖的方法，将视图合成开销最小化。第一个名为denseaffnet，使用了affnet的密集仿射形状估计值，它允许其划分图像，仅使用单个仿射图对每个分区进行整流。第二个名为Depthaffnet，结合了深度图和仿射形状估算的信息，以生成不同图像分区的不同整体构图仿射图。Denseaffnet比最先进的速度快，并且在通用场景上更准确。Depthaffnet在包含大平面的场景上与最先进的状态相提并论。评估是在3个公共数据集上执行的-EVD数据集，强烈的观点更改数据集和IMC光仪数据集。

我们研究了在紧邻人类机器人相互作用的背景下，最先进的人关键点探测器的性能。在这种情况下的检测是具体的，因为只有手和躯干等身体部位的子集在视野中。特别是（i）我们从近距离图像的角度调查了具有人类姿势注释的现有数据集，并准备并使公开可用的新人（HICP）数据集； （ii）我们在此数据集上进行定量和定性比较人类全身2D关键点检测方法（openpose，mmpose，onphapose，detectron2）； （iii）由于对手指的准确检测对于使用交接的应用至关重要，因此我们评估了介质手工检测器的性能； （iv）我们在头部上带有RGB-D摄像头的人形机器人上部署算法，并在3D Human KeyPoint检测中评估性能。运动捕获系统用作参考。在紧邻近端的最佳性能全身关键点探测器是mmpose和字母，但两者都难以检测手指。因此，我们提出了在单个框架中为人体和手介载体的mmpose或字母组合的组合，提供了最准确，最强大的检测。我们还分析了单个探测器的故障模式 - 例如，图像中人的头部缺失在多大程度上降低了性能。最后，我们在一个场景中演示了框架，其中类人类机器人与人相互作用的人类机器人使用检测到的3D关键点进行全身避免动作。

基于模板的鉴别性跟踪器是目前主导的跟踪范例由于其稳健性，但不限于边界框跟踪和有限的转换模型，这降低了它们的本地化准确性。我们提出了一个判别的单次分割跟踪器 - D3S2，其缩小了视觉对象跟踪和视频对象分段之间的差距。单次网络应用两个具有互补的几何属性的目标模型，一个不变的变换，包括非刚性变形，另一个假设刚性对象同时实现强大的在线目标分段。通过解耦对象和特征比例估计，进一步提高了整体跟踪可靠性。没有每数据集FineTuning，并且仅用于分段作为主要输出，D3S2胜过最近的短期跟踪基准Vot2020上的所有已发布的跟踪器，并非常接近GOT-10K上的最先进的跟踪器， TrackingNet，OTB100和Lasot。 D3S2优于视频对象分段基准上的前导分割跟踪器SIAMMASK，并与顶部视频对象分段算法进行操作。

准确且强大的视觉对象跟踪是最具挑战性和最基本的计算机视觉问题之一。它需要在图像序列中估计目标的轨迹，仅给出其初始位置和分段，或者在边界框的形式中粗略近似。判别相关滤波器（DCF）和深度暹罗网络（SNS）被出现为主导跟踪范式，这导致了重大进展。在过去十年的视觉对象跟踪快速演变之后，该调查介绍了90多个DCFS和暹罗跟踪器的系统和彻底审查，基于九个跟踪基准。首先，我们介绍了DCF和暹罗跟踪核心配方的背景理论。然后，我们在这些跟踪范式中区分和全面地审查共享以及具体的开放研究挑战。此外，我们彻底分析了DCF和暹罗跟踪器对九个基准的性能，涵盖了视觉跟踪的不同实验方面：数据集，评估度量，性能和速度比较。通过提出根据我们的分析提出尊重开放挑战的建议和建议来完成调查。

我们提出了深刻的Magsac ++结合了传统和深度强大的估算的优势。我们介绍了一种新的损失功能，可利用部分染色的协调特征，例如筛选，以几何实际合理的方式利用部分染色的协调功能。新损失有助于学习有关底层场景几何的高阶信息。此外，我们为Ransac提出了一个新的采样器，总是选择具有最概率的最高概率的样本。在每次不成功的迭代之后，概率通过贝叶斯方法以原则方式更新。深网络的预测被利用在采样器内部。从新的损失，拟议的采样器和一些技术进步受益，Deep Magsac ++在来自公共可用数据集的成千上万的图像对上的准确性和运行方面都优于最先进的和基本矩阵估计。

在本文中，我们在短PCCC中呈现点云颜色恒定，这是利用点云的照明色度估计算法。我们利用飞行时间（TOF）传感器捕获的深度信息与RGB传感器刚性安装，并形成一个6D云，其中每个点包含坐标和RGB强度，指出为（x，y，z，r，g，b）。PCCC将注意力架构应用于色彩恒定问题，导出照明矢量点明智，然后制定关于全局照明色度的全局决定。在两个流行的RGB-D数据集上，我们使用照明信息以及新颖的基准延伸，PCCC比最先进的算法获得更低的错误。我们的方法简单且快速，仅需要16 * 16尺寸的输入和超过500 FPS的速度，包括建立点云和净推理的成本。

我们提出了一种用于分布式培训神经网络模型的新型联合学习方法，其中服务器在每轮中随机选择的设备的子集之间编制协作。我们主要从通信角度查看联合学习问题，并允许更多设备级别计算来节省传输成本。我们指出了一个基本的困境，因为当地 - 设备水平的最低实证损失与全球经验损失的最小值不一致。与最近的事先有关的不同，尝试无所作用的最小化或利用用于并行化梯度计算的设备，我们为每轮的每个设备提出动态规范器，以便在极限中，全局和设备解决方案对齐。我们通过实证结果对真实的和合成数据以及我们的方案在凸和非凸面设置中导致有效培训的分析结果，同时对设备异质性完全不可知，以及大量设备，部分参与和不平衡的数据。